Amazon Aurora Optimized Reads 和 pgvector 如何協助你優化生成式AI應用程式效能
-
DIGITIMES
/
台北
- 2024-06-24 18:11:29
生成式AI應用程式正在重塑企業處理非結構化資料的方式。無論是文字、影像還是影音,生成式AI都能夠將這些資訊轉換成向量形式,捕捉其內在意義與上下文,進而實現高效的相似性比對與搜尋。而Amazon Aurora PostgreSQL相容版本搭配pgvector擴充功能,正是實現此一願景的絕佳利器。然而,隨著向量工作負載規模的不斷擴大,效能瓶頸亦逐漸浮現。Amazon Aurora Optimized Reads的推出,為生成式AI應用程式注入全新動能,讓pgvector在向量相似性搜尋的效能大幅提升,開啟生成式AI在企業應用的嶄新紀元。
生成式AI工作負載的效能痛點
生成式AI應用程式的核心在於大量文句預訓練產生的大語言模型,而其中對於文句的處理便需要向量嵌入模型,將這些文句轉變成向量資料做輸入。這些模型能夠將非結構化資料轉換成高維度向量,以數值形式表徵其內在意義。然而,這些高維度向量往往佔用龐大的記憶體空間,一旦超出資料庫執行個體的記憶體容量,就必須從磁碟系統讀取資料,從而導致效能嚴重下降。
舉例來說,Amazon Titan Embeddings G1 - Text嵌入模型所產生的向量維度高達1536 byte,每個向量約佔6KB空間。若要對10億個這樣的向量進行相似性搜尋,將需要將5.7TB的資料載入記憶體,對於大多數資料庫執行個體而言,這顯然是無法負荷的工作負載。
傳統的資料庫系統無法有效處理如此大規模的向量相似性搜尋需求,因此企業在建置生成式AI應用程式時,往往受到效能瓶頸的限制。
Optimized Reads助力pgvector HNSW索引飆升效能
Amazon Aurora Optimized Reads正是解決這一痛點的新功能,透過利用本地NVMe快取,大幅減少對網路儲存的存取,提升向量查詢效能。當搭配pgvector的HNSW (Hierarchical Navigable Small World)索引使用時,Optimized Reads展現出驚人的效能優勢。
在10億向量的基準測試中,使用Optimized Reads的執行個體平均提供4.1-9.3倍的每秒查詢數(QPS)改善,相較於傳統IVFFlat索引,HNSW索引的QPS甚至可達20倍之高。此外,每個查詢的成本比標準執行個體低75-80%,顯示出Optimized Reads不僅提升效能,更能為企業節省龐大成本。
靈活調整效能與成本,讓生成式AI應用程式更具經濟效益
Optimized Reads的優勢不僅止於效能提升,更為企業帶來靈活調整效能與成本的能力。由於Optimized Reads執行個體能夠在相同規格下大幅提升向量工作負載效能,因此企業可以先在現有資源上擴展工作負載,待需求增長時再考慮升級執行個體,避免過度投資。
此外,Optimized Reads提供更優化的價格/效能比,讓生成式AI應用程式更具經濟效益。在上述基準測試中,使用Optimized Reads的執行個體每百萬查詢成本僅為標準執行個體的20-25%,顯示出其卓越的成本效益。
Amazon Aurora 全面優化生成式AI工作負載效能
隨著生成式AI應用程式在企業中的普及,如何有效處理大規模向量工作負載將是關鍵所在。Amazon Aurora Optimized Reads與pgvector的強強聯手,為企業提供了高效能、經濟實惠的解決方案,助力生成式AI在各行各業中發揮最大潛能。
無論是電商產品目錄搜尋、知識庫增強生成(RAG)還是其他創新應用,Optimized Reads都能為企業帶來卓越的向量相似性搜尋效能,讓生成式AI的無限可能徹底釋放。
現在註冊AWS帳號,體驗 Amazon Aurora Optimized Reads 帶來的卓越效能!